LOCKS: Page-Local Compact Key Summaries for Efficient Long-Context Decoding
页面局部紧凑键摘要用于高效长上下文解码
🧭 KV cache 压缩 · 稀疏注意力
通过页面局部光谱摘要和稀疏选择，大幅减少长上下文解码中 KV cache 读取量，保持质量
📌 工作参考价值（4 点）
- 电商推荐中常需用 LLM 建模长用户行为序列，LOCKS 的页面级压缩可将序列分块，每块保留紧凑谱摘要，在生成时仅注意 top 块，降低长序列推理延迟
- 该选择机制只基于摘要估计注意力质量，不读取原始键值，适合在推荐 query 生成等需要可控延迟的场景中部署
- 可作为 vLLM 插件直接集成到现有推理服务，无需修改模型，对已部署推荐系统的 LLM 组件改造成本极低
- 长形式推理（如 Agent 多步规划）收益最大，若推荐 Agent 需要长上下文推理，此方法可明显提升响应速度